AI Papers Daily

#Cost-Quality Tradeoff

2 篇

LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers

LLMRouter：LLM 路由器开发、评估与部署的统一基础设施

🧭 LLM 路由统一框架与评测基准

University of Illinois Urbana-Champaign · University of Maryland, College Park · Nanyang Technological University · Purdue University · University of Illinois Chicago

提出统一 LLM 路由五组件公式、开源模块化基础设施与 xRouteBench 基准，系统比较 16+ 路由器并给出成本与个性化关键发现

📌 工作参考价值（4 点）

• 做 LLM 路由时可将策略抽象为「编码器→打分→决策规则→学习信号」，按组件模块化开发，便于快速替换编码器（如用户/上下文 embedding）和损失函数；LLMRouter 的开源实现可当内部 Router 服务的脚手架。
• 电商/搜索推荐中不同 query/任务对模型能力和成本敏感度差异大，统一评估质量+推理成本的方式值得照搬，建议建立类似 xRouteBench 的内部基准，用候选模型池自动产出路由标签。
• 实验结论提示在严格成本预算下轻量路由器反而更优；部署 LLM Agent 或生成式推荐服务时，应把单模型强大与路由开销一起评估，不要盲目追求复杂路由器。
• 个性化路由（user-conditioned routing）增益稳定，可把用户画像/历史行为嵌入作为条件输入，让路由决策感知用户，提升推荐、广告文案生成等场景的个性化效果。

Other | 2026-08-06 | HF Daily | score 6/10

LLM RouterModel RoutingBenchmarkInfrastructureCost-Quality TradeoffPersonalization

Natural Language Query to Configuration for Retrieval Agents

自然语言查询到检索智能体配置的动态选择

🧭 检索智能体配置优化 ★ 深度解读

UC Berkeley · University of Washington · Microsoft Azure Research - Systems

提出 BRANE：用 LLM 提取查询特性并训练 per‑configuration 预测器，在推理时按准确率目标选择管道配置，大幅节省成本

📌 工作参考价值（5 点）

• 动态配置替代固定管道：电商搜索、客服问答等场景可对每个查询动态选择检索策略、LLM、文档数等，用 BRANE 的成本‑质量帕累托曲线在满足准确率目标时降低成本。
• LLM 生成的 workload‑specific 二值特征：比通用嵌入更能捕捉查询细粒度差异（如 FinanceBench 领域），可直接用作路由器的输入，节省特征工程成本。
• 轻量 per‑configuration 预测器：使用 tabular 模型（如 LightGBM）在小样本（几百条）下效果优于端到端微调 BERT 或 Qwen‑4B，适合需要快速冷启动的垂直领域。
• 模糊帕累托剪枝：在配置空间大时，只保留接近帕累托前沿的配置训练预测器，大幅减少训练和推理开销，适合多检索器、多 LLM 的商业系统。
• 无损重标定：上线后只需调整 λ 即可在准确率和成本之间切换，无需重新训练，适合随时切换预算模式（如大促期间优先准确，日常优先成本）。

Agent | 2026-05-26 | cs.AI | score 8/10

Query2ConfRetrieval AgentsConfiguration OptimizationCost-Quality TradeoffWorkload-Specific CharacteristicsPareto Frontier